Telegram Group & Telegram Channel
Как справляться с огромными пространствами поиска в генетических алгоритмах для нейросетей

Генетические алгоритмы исследуют гигантские пространства архитектур: каждая комбинация слоёв, активаций и гиперпараметров входит в возможное множество решений.

При масштабных сетях вычислительная стоимость быстро растёт — каждую архитектуру нужно хотя бы частично обучить для оценки пригодности.

Практические подходы:

➡️ Поэтапный (staged) поиск: сначала простые модели и ограниченный набор параметров, затем — расширение до более сложных конфигураций.

➡️ Суррогатные модели: замена оценки полноценной модели на прокси-оценку с помощью облегчённых сетей.

➡️ Раннее завершение обучения: сокращение количества эпох или досрочное завершение обучения при отсутствии улучшения.

Подводный камень:

➡️ Суррогаты и частичное обучение могут искажать оценку: некоторые архитектуры обучаются медленно, но в долгосрочной перспективе превосходят остальных.


Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM



tg-me.com/ds_interview_lib/914
Create:
Last Update:

Как справляться с огромными пространствами поиска в генетических алгоритмах для нейросетей

Генетические алгоритмы исследуют гигантские пространства архитектур: каждая комбинация слоёв, активаций и гиперпараметров входит в возможное множество решений.

При масштабных сетях вычислительная стоимость быстро растёт — каждую архитектуру нужно хотя бы частично обучить для оценки пригодности.

Практические подходы:

➡️ Поэтапный (staged) поиск: сначала простые модели и ограниченный набор параметров, затем — расширение до более сложных конфигураций.

➡️ Суррогатные модели: замена оценки полноценной модели на прокси-оценку с помощью облегчённых сетей.

➡️ Раннее завершение обучения: сокращение количества эпох или досрочное завершение обучения при отсутствии улучшения.

Подводный камень:

➡️ Суррогаты и частичное обучение могут искажать оценку: некоторые архитектуры обучаются медленно, но в долгосрочной перспективе превосходят остальных.


Библиотека собеса по Data Science

BY Библиотека собеса по Data Science | вопросы с собеседований


Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283

Share with your friend now:
tg-me.com/ds_interview_lib/914

View MORE
Open in Telegram


Библиотека собеса по Data Science | вопросы с собеседований Telegram | DID YOU KNOW?

Date: |

Among the actives, Ascendas REIT sank 0.64 percent, while CapitaLand Integrated Commercial Trust plummeted 1.42 percent, City Developments plunged 1.12 percent, Dairy Farm International tumbled 0.86 percent, DBS Group skidded 0.68 percent, Genting Singapore retreated 0.67 percent, Hongkong Land climbed 1.30 percent, Mapletree Commercial Trust lost 0.47 percent, Mapletree Logistics Trust tanked 0.95 percent, Oversea-Chinese Banking Corporation dropped 0.61 percent, SATS rose 0.24 percent, SembCorp Industries shed 0.54 percent, Singapore Airlines surrendered 0.79 percent, Singapore Exchange slid 0.30 percent, Singapore Press Holdings declined 1.03 percent, Singapore Technologies Engineering dipped 0.26 percent, SingTel advanced 0.81 percent, United Overseas Bank fell 0.39 percent, Wilmar International eased 0.24 percent, Yangzijiang Shipbuilding jumped 1.42 percent and Keppel Corp, Thai Beverage, CapitaLand and Comfort DelGro were unchanged.

Библиотека собеса по Data Science | вопросы с собеседований from cn


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM USA